Het kasteel Dufour werd gebouwd rond de eeuwwisseling, meer bepaald in 1906, door de gelijknamige baron uit Turnhout.
Deze heer, van adel, was destijds burgemeester van Turnhout, en stond als ingenieurindustrieel lange jaren aan het hoofd van de bekende drukkerij Brepols. Tijdens de zomermaanden deed het kasteel dienst als vakantieverblijf door de familie Dufour, in de winter was het de uitgelezen plek voor heerlijke jachtfestijnen.
Het neogotisch kasteel werd opgericht in een prachtig landschap-park in Engelse stijl. Centraal en ietwat hoger gelegen domineert het kasteel over zo’n 30ha loofbomen, heesters, vijvers en grasvelden.
Later, na de Tweede Wereldoorlog, deed het kasteel dienst als herstel- en rustverblijf voor diamantbewerkers. Het domein werd toen omgedoopt tot “domein Levenslust”. In 1985 werd dan het hele domein, park en kasteel afgestaan, aan het ACW-Turnhout. Het werd een contract voor drie jaar met en optie voor dertig jaar. Blijkbaar waren de kosten voor het onderhoud te zwaar en werd het contract in 1988 opgezegd.